#
# import jieba
# from gensim import corpora #对数据提取特征 并产生特征
# from gensim import models #模板
# from gensim import similarities#匹配操作，相似度的匹配
# #训练数据
# l1 = ["我是上海人", "上海人", "上海今天天气不错", "上海人在吃饭"]
#
# #测试数据
# a = "我家在上海，我是上海人"
#
#
# #对数据进行特征提取
# #对训练数据进行预处理
#
# all_doc_list = []
# for doc in l1:
#     doc_list = [word for word in jieba.cut(doc)]
#     all_doc_list.append(doc_list)
# print('all_doc_list:',all_doc_list)
#
# print()
#
# #对测试数据进行处理
# doc_test_list = [word for word in jieba.cut(a)]
# print('doc_test_list:',doc_test_list)
#
#
# # #对数据进行特征提取
# # # 制作语料库
# dictionary = corpora.Dictionary(all_doc_list)  # 制作词袋
# print(dictionary)
# # # # 词袋的理解
# # # # 词袋就是将很多很多的词,进行排列形成一个 词(key) 与一个 标志位(value) 的字典
# # # # 例如: {‘什么‘: 0, ‘你‘: 1, ‘名字‘: 2, ‘是‘: 3, ‘的‘: 4, ‘了‘: 5, ‘今年‘: 6, ‘几岁‘: 7, ‘多‘: 8, ‘有‘: 9, ‘胸多大‘: 10, ‘高‘: 11}
# # # # 至于它是做什么用的,带着问题往下看
# print("token2id", dictionary.token2id) #数字化
#
#
# print("dictionary", dictionary, type(dictionary))
#
# corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]
# # # # 语料库:
# # # # 这里是将all_doc_list 中的每一个列表中的词语 与 dictionary 中的Key进行匹配
# # # # 得到一个匹配后的结果,例如[‘你‘, ‘今年‘, ‘几岁‘, ‘了‘]
# # # # 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)]
# # # # 1代表的的是 你 1代表出现一次, 5代表的是 了  1代表出现了一次, 以此类推 6 = 今年 , 7 = 几岁
# print("corpus", corpus, type(corpus))
# # # # 将需要寻找相似度的分词列表 做成 语料库 doc_test_vec
# # #对测试数据进行处理
# doc_test_vec = dictionary.doc2bow(doc_test_list)
# print("doc_test_vec", doc_test_vec, type(doc_test_vec))
#
# # # # 将corpus语料库(初识语料库) 使用Lsi模型进行训练
# lsi = models.LsiModel(corpus)
# # # # 这里的只是需要学习Lsi模型来了解的,这里不做阐述
# print("lsi", lsi, type(lsi))
# # # # 语料库corpus的训练结果
# print("lsi[corpus]", lsi[corpus])
# # # # 获得语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示
# print("lsi[doc_test_vec]", lsi[doc_test_vec])
# # # # 文本相似度
# # # # 稀疏矩阵相似度 将 主 语料库corpus的训练结果 作为初始值
# index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))
# # print("index", index, type(index))
# # # # 将 语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示 与 语料库corpus的 向量表示 做矩阵相似度计算
# sim = index[lsi[doc_test_vec]]
# print("sim", sim, type(sim))
# # # # 对下标和相似度结果进行一个排序,拿出相似度最高的结果
# print(list(enumerate(sim)))
# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)
# # cc = sorted(enumerate(sim), key=lambda item: -item[1])
# print(cc)
# #cc[0][0] =0
# text = l1[cc[0][0]]
# print(a,'和：',text,'匹配度最高')


